2022年底，智能聊天機(jī)器人程序ChatGPT一經(jīng)推出便風(fēng)靡全網(wǎng)；不久後的2023年3月，AI繪圖工具Midjourney V5及其作品也在全球範圍引起不小的轟動(dòng)，各行各業(yè)的「遊戲規(guī)則」也開(kāi)始因AI悄然發(fā)生變革。
AI技術(shù)發(fā)展的日新月異，似乎瞬間將繪畫、攝影、動(dòng)畫、影視劇等在內(nèi)的影像行業(yè)，帶入了一個(gè)全新的創(chuàng)作時(shí)代。
2024年6月21日，華為開(kāi)發(fā)者大會(huì)2024（HDC 2024）在廣(guǎng)東東莞舉行，會(huì)上華為雲重磅發(fā)布了盤(pán)古大模型5.0，其中展示的媒體大模型，在實(shí)拍轉(zhuǎn)繪、影像譯製和語音生成以及AI多語種實(shí)時(shí)翻譯三個(gè)方面進(jìn)行了技術(shù)創(chuàng)新，這讓處在AI時(shí)代下深刻變革的國(guó)內(nèi)影像行業(yè)，在未知挑戰中迎來(lái)更多機(jī)遇。
這些AI新技術(shù)和新工具無(wú)疑潛力深厚，眾多影像從業(yè)者或許因此實(shí)現(xiàn)以往無(wú)法完成的視覺創(chuàng)作，發(fā)掘出影像內(nèi)容生產(chǎn)和應(yīng)用的更多創(chuàng)新模式。
實(shí)拍視頻，轉(zhuǎn)繪生成多風(fēng)格動(dòng)畫
AI生成的視頻技術(shù)正在革新我們的視覺體驗(yàn)，為動(dòng)漫、視頻行業(yè)帶來(lái)新的想像。在視頻生成方面，華為雲盤(pán)古媒體大模型通過(guò)訓(xùn)練幾十張特定美學(xué)風(fēng)格的圖片，如吉卜利、二次元等風(fēng)格，輸(shū)入實(shí)拍視頻即可快速生成該風(fēng)格的動(dòng)漫視頻，實(shí)現(xiàn)按需時(shí)長(zhǎng)生成穩(wěn)定的動(dòng)漫視頻，這為動(dòng)漫的生產(chǎn)提供了新的模式。
在之前，視頻生成技術(shù)在動(dòng)漫視頻生成時(shí)，都是按每一幀畫面進(jìn)行風(fēng)格化，然後重新串聯(lián)成視頻。由於AI轉(zhuǎn)換(huàn)的不確定性，容易出現(xiàn)角色前後特徵發(fā)生變化，變成另外一個(gè)人，或者在人物運(yùn)動(dòng)、轉(zhuǎn)身、側臉等情況下細(xì)節(jié)特徵發(fā)生變化。
盤(pán)古媒體大模型通過(guò)ID一致性模型，對(duì)生成畫面中的關(guān)鍵角色進(jìn)行一致性處理，保持視頻中角色樣貌特徵前後始終一致，在側臉、運(yùn)動(dòng)軌跡下的視覺效果同樣合理一致。並且，視頻中的關(guān)鍵道具也能保持前後一致性。這種可控的視頻生成技術(shù)，更容易滿(mǎn)足真正的工業(yè)場(chǎng)景應(yīng)用需求。
例如，在第十四屆北京國(guó)際電影節(jié)「AIGC電影短片單元」競(jìng)賽中獲得最佳影片獎(jiǎng)的AI動(dòng)畫短片《致親愛(ài)的自己》，由中國(guó)傳媒大學(xué)動(dòng)畫與數(shù)字藝術(shù)學(xué)院及Ainimate Lab在華為雲的支持下共創(chuàng)生成。
在這支作品中，有大量、大幅度舞蹈動(dòng)作，人物與鏡頭運(yùn)動(dòng)軌跡大，基於ID一致性模型，人物的面部輪廓、髮型、五官等樣貌特徵始終保持穩(wěn)定生成、一致，所以觀(guān)眾能看出前後一直是同一個(gè)人。同時(shí)視頻中的關(guān)鍵道具蒲公英造型戒指，也在多個(gè)畫面中保持一致。
《致親愛(ài)的自己》AI動(dòng)畫短片畫面
另外，當(dāng)前很多AI影片的不足之處，在於故事情節(jié)多依靠旁白串聯(lián)全篇，片中主人公的微動(dòng)作和表情幾乎都無(wú)法表現(xiàn)。這種AI視覺敘事能力的缺失，讓人物失去了情緒表演的遞進(jìn)和感染力，觀(guān)眾無(wú)法與之共情，所以故事的深刻和細(xì)膩很難傳達(dá)出來(lái)。
基於這個(gè)問(wèn)題，華為雲基於MetaStudio的一站式雲上數(shù)字內(nèi)容生產(chǎn)平臺(tái)能力，讓影片內(nèi)容生產(chǎn)方式發(fā)生質(zhì)的躍遷，比如這項(xiàng)技術(shù)可以嚴(yán)格要求演員表情細(xì)節(jié)、肢體動(dòng)作細(xì)節(jié)，能在最關(guān)鍵的幾個(gè)要傳達(dá)情緒的鏡頭裡，把角色的表情保留下來(lái)，保證作品故事信息有效傳遞。
《致親愛(ài)的自己》AI動(dòng)畫短片 「實(shí)拍轉(zhuǎn)繪」製作流程示意圖
影像譯製，智能實(shí)現(xiàn)音唇同步
講好中國(guó)故事、傳播好中國(guó)聲音，展示真實(shí)、立體、全面的中國(guó)，是加強(qiáng)我國(guó)國(guó)際傳播能力建設(shè)的重要任務(wù)。
近年來(lái)，憑藉豐富題材、新穎視角和獨(dú)特風(fēng)格，我國(guó)的影視、短劇出海需求愈加旺盛。但傳統(tǒng)的視頻譯製，需要配音演員熟悉翻譯後的臺(tái)詞、體會(huì)角色情感，再對(duì)視頻進(jìn)行目標(biāo)語種的重新配音。因此，影片質(zhì)量完全取決於配音演員的專(zhuān)業(yè)能力，而且角色原先的聲音和情感都會(huì)被重塑。並且，受限於人工譯製成本高，影片的質(zhì)量也參差不齊，產(chǎn)能有限。
但通過(guò)媒體大模型提供的視頻翻譯能力，用AI能將視頻翻譯為目標(biāo)語言，並且影片中原始角色的音色、情感、語氣可以完好保留；並且除中英譯製外，聯(lián)合邏輯智能夥伴的能力，可以實(shí)現(xiàn)韓語、法語、德語、西語、泰語、阿語等15種語言的譯製，並達(dá)到影視級(jí)譯製效果。除了聲音外，通過(guò)媒體大模型的口型驅動(dòng)模型，可以實(shí)現(xiàn)音唇同步，給觀(guān)眾帶來(lái)更好的觀(guān)看體驗(yàn)。尤其是當(dāng)影片中人物處於側面、多人對(duì)話(huà)、物體遮擋以及移動(dòng)等場(chǎng)景，也能做到很好的口型匹配。
正如華為雲與中影集團(tuán)合作，將媒體大模型應(yīng)用到了影視工業(yè)，共同打造出影視譯製大模型，通過(guò)AI將視頻譯製成不同語言，支持口型匹配的同時(shí)保留了原始角色的音色、情感、語氣，為影片譯製提供了全新的AI製作方式。華為雲媒體大模型的視頻譯製能力，更為影視、短劇出海提供了一種新的生產(chǎn)力工具，更好地實(shí)現(xiàn)內(nèi)容高效、高質(zhì)量的供給。
另外，在語音生成方面，媒體大模型重塑了個(gè)性化語音生成以及情感化。個(gè)性化語音在很多行業(yè)場(chǎng)景中已經(jīng)廣(guǎng)泛使用，例如數(shù)字人、有聲書(shū)配音、培訓(xùn)課程製作、虛擬NPC等。傳統(tǒng)的聲音克隆模型都是小模型，需要幾百句話(huà)的錄音，通過(guò)人工標(biāo)註，反覆訓(xùn)練提取音色。
基於媒體大模型語音生成能力，只需要幾句話(huà)、幾秒鐘的聲音，即可學(xué)習(xí)到個(gè)性化的音色、語調(diào)、表達(dá)韻律，從而獲得高質(zhì)量的個(gè)性化語音。同時(shí)，這項(xiàng)技術(shù)支持喜怒哀樂等擬人情感語音，支持閒聊、新聞、直播等10多種語氣風(fēng)格，讓生成的語音更擬真，更具情感，符合更多場(chǎng)景所需。
華為雲盤(pán)古媒體大模型-AI譯製視頻《無(wú)盡攀登》
AI精準(zhǔn)翻譯，打破多語種實(shí)時(shí)溝通障礙
AI大模型輔助語言的翻譯不僅應(yīng)用在影視行業(yè)，對(duì)於人們的日常交流、工作也有著重要的意義。在AI翻譯方面，媒體大模型可以通過(guò)AI實(shí)現(xiàn)多語種實(shí)時(shí)傳譯，準(zhǔn)確性大於93%。這項(xiàng)技術(shù)可應(yīng)用於實(shí)時(shí)通話(huà)、雲會(huì)議等需要實(shí)時(shí)翻譯的場(chǎng)景，重塑了跨語言溝通體驗(yàn)。並且，基於大模型的語音復刻、AI文字翻譯以及TTS技術(shù)（文語轉(zhuǎn)換(huàn)技術(shù)），可以實(shí)現(xiàn)語音的同聲傳譯。通過(guò)這項(xiàng)技術(shù)，每個(gè)人跨語言溝通時(shí)都可以用自己的母語說(shuō)話(huà)，聽的時(shí)候選擇自己的母語收聽，AI就會(huì)將每個(gè)人的發(fā)言以預置聲音或者真人的聲音翻譯為收聽語言，實(shí)現(xiàn)跨語言母語溝通體驗(yàn)。結(jié)合數(shù)字人技術(shù)，在人們不方便開(kāi)攝像頭時(shí)，還可以用數(shù)字人參會(huì)，並通過(guò)口型驅動(dòng)實(shí)現(xiàn)數(shù)字人以各種語言說(shuō)話(huà)且都能精準(zhǔn)匹配口型，就如同本人說(shuō)話(huà)一樣。
如今，像華為雲盤(pán)古媒體大模型這類(lèi)AI相關(guān)技術(shù)和應(yīng)用工具的迅速發(fā)展和普及，深刻影響著影像工業(yè)製作流程，更讓一些影像從業(yè)者從新技術(shù)的誕生中獲得創(chuàng)作的新啟發(fā)、新認(rèn)知和新創(chuàng)意。或許，更善於與AI打交道的影像藝術(shù)家，將在未來(lái)創(chuàng)作中獲得更有力的輔助和更創(chuàng)新的影像創(chuàng)作模式。
